Metoda najmanjih kvadrata i QR rastav  
Vrsta: Nekategorisan rad đ Broj strana: 25

Sadrˇaj z
Popis slika 1 PROBLEM NAJMANJIH KVADRATA 1.1 Linearna regresija . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2 Metoda najmanjih kvadrata . . . . . . . . . . . . . . . . . . . . 2 QR 2.1 2.2 2.3 2.4 2.5 2.6 RASTAV QR rastav vektora i Householderov reflektor . . . QR rastav matrice . . . . . . . . . . . . . . . . . Numeriˇko raˇunanje QR rastava . . . . . . . . . c c Rjeˇavanje problema najmanjih kvadrata pomo´u s c Ekonomiˇni QR rastav . . . . . . . . . . . . . . . c QR rastav s pivotiranjem po stupcima . . . . . . . . . . . . . . . . . . . . . . . . . . . QR rastava . . . . . . . . . . . . . . . . . . . . v 1 1 5 11 12 14 15 16 18 18
iii
Popis slika
1.1 1.2 1.3 Pet toˇaka u ravnini . . . . . . . . . . . . . . . . . . . . . . . . c Rjeˇenje problema najmanjih kvadrata . . . . . . . . . . . . . . s Parabola s najboljom prilagodbom . . . . . . . . . . . . . . . . 2 4 9
v
1. PROBLEM NAJMANJIH KVADRATA
1.1 1.2 Linearna regresija . . . . . . . . . . . . . . . . . . . . Metoda najmanjih kvadrata . . . . . . . . . . . . . . 1 5
U ovom poglavlju dat ´emo kratki uvod u matriˇni problem najmanjih c c kvadrata. Metoda najmanjih kvadrata se koristi kod preodredenih sustava Ax = b u sluˇaju kada imamo viˇe jednadˇbi nego nepoznanica i kada sustav c s z nije rjeˇiv po Kronecker-Capellijevom teoremu. s Problem najmanjih kvadrata se ˇesto koristi u raznim tehniˇkim primjec c nama kao i u ekonomiji (linearna regresija).
1.1
Linearna regresija
Linearnu regresiju ´emo najbolje objasniti na primjeru. Neka je zadano c pet toˇaka u ravnini c x 1 3 4 6 7 y 1 3 2 4 3 kao na slici 1.1. Ukoliko bi pravac y = kx + l prolazio kroz sve zadane toˇke, c tada bi za svaku toˇku (x1 , yi ), i = 1, 2, . . . , 5 vrijedilo c k xi + l = yi . U naˇem sluˇaju to daje sustav linearnih jednadˇbi s c z k+l =1 3k + l = 3 4k + l = 2 6k + l = 4 7k + l = 3.
2
5
PROBLEM NAJMANJIH KVADRATA
line 1
4
3
2
1
0 0 1 2 3 4 5 6 7 8
Slika 1.1: Pet toˇaka u ravnini c
Ovo je sustav s pet jednadˇbi i dvije nepoznanice k i l. Matriˇni oblik sustava z c glasi     1 1 1 3 1 3     4 1 k = 2 ,   l   6 1 4 7 1 3 odnosno Ax = b gdje je  1 3  A = 4  6 7  1 1  1 ,  1 1   1 3   b = y = 2 .   4 3
x=
k , l
Ako bi ovaj sustav bio rjeˇiv, tada bi vrijedilo Ax−b = 0 odnosno Ax−b = 0. s c s s z Medutim, zadani sustav oˇito nije rjeˇiv, pa se postavlja pitanje ˇto moˇemo napraviti. Prirodan zahtjev je da izraz Ax − b bude ˇto bliˇi nul-stupcu, s z odnosno da norma Ax− b bude ˇto manja mogu´a. Taj zahtjev matematiˇki s c c zapisujemo kao Ax − b → min . s Ako je x rjeˇenje ovog problema, tada je x takoder i rjeˇenje problema s Ax – b